Vườn Nhật Bản xuất phát từ những kiến thức mà người Nhật học được từ Trung Quốc trong thời kỳ Asuka cùng với những kiến thức và thế giới quan Phật giáo. Trong thời kỳ Edo, hoàng gia, các quý tộc, shogun, daimyo, các chùa chiền và đền thờ của đạo Shinto đều chơi vườn cảnh.

Phong cách của vườn Nhật được giới thiệu một cách chính thức ra thế giới có thể là từ cuối thế kỷ 19 với tác phẩm Landscape Gardening in Japan của Josiah Conder năm 1893. Ngày nay, không chỉ ở Nhật Bản mà ở nhiều nơi khác trên thế giới cũng có vườn Nhật.